远古时代，盘古开天，女娲造人，女娲补天、伏羲画八卦、二郎担山赶太阳等众多 神话传说，在嵩山地区都留下了回响的遗迹。距今9000年到7000年的裴李岗文化在嵩山地区有43处遗址，数量之多，分布之密为全国之冠。距今4500年到4000年的龙山文化遗址在嵩山地区更是星罗棋布，王城岗、八方遗址、颍阳遗址、杨村遗址、君召南洼遗址分别是全国和河南省重点文物保护单位。这一时期，人文始祖黄帝诞生于嵩山余脉凤后岭下的轩辕丘，战胜蚩尤建功立业，一统华夏后定都于嵩山脚下。唐尧、虞舜的重大政治活动在嵩山地区的也很多，尧晚年数次到登封箕山拜访许由，留下了箕山、颍水、洗耳泉、饮牛坑、许由冢等文化遗存，后来帝尧巡狩阳城，并以百岁之高龄驾崩于嵩山脚下的登封阳城。舜帝传说曾到登封负黍城经商和到嵩山访贤大禹。
大禹身为崇伯鲧之子，继承父亲未竟的治水大业。十三年中，大禹三过家门而不入，为把嵩山南麓的洪水疏导入黄河，他即化为力大无比的黄熊开凿轩辕关，并和妻子约定闻鼓饷夫。一次涂山娇发现大禹身化黄熊的秘密，遂化为巨石，并石破北方而生启。现仍屹立在登封市区周围的启母石、汉三阙正是这一历史事件的明证，而嵩山主体太室山、少室山也因大禹的两个妻子涂山娇、涂山姚分别居住其下而得名。
距今4000年到3000年，嵩山地区是夏商周三代立国的中心，禹都阳城，启都阳翟、斟寻、汤都西亳、商都郑州、东都洛邑环嵩山而立，一举奠定了嵩山在中国文化史上的不可取代的中心地位。周武王灭纣后，在太室山祭天，这是中国历史上第一次有文字记载的封禅活动。历代帝王不断游历嵩山，留下了不少佳话。公元前110年，汉武帝礼登嵩山，拜谒启母石后，率众自东边登上一座山峰，听到大呼“万岁”之声时，“问上上不言，问下下不语”，有大臣就献媚恭维说：“这是中岳山神在迎接您。”汉武帝当下龙心大悦，于是就命名这座山峰为“万岁峰”，并在峰上建“万岁亭”，在峰下建“万岁观”。同时，命令祠官大规模增建祭祀中岳山神的太室祠，并划山下三百户居民设立崇高县，免除一切赋税、徭役，专门奉命祭祀岳神。从此，“山呼万岁”就成为一个成语沿用了几千年。北魏太和十八年(495年)，孝文帝巡幸嵩山，亲作《祭嵩高文》，致祭中岳。
唐高宗一生和嵩山关系密切，在皇后武则天的陪同下曾三来嵩山。永隆元年(680年)唐高宗第一次游历嵩山，他亲谒少姨庙、嵩阳观、启母庙，拜访了著名道士潘师正，并为其建隆唐观、精思观、寻真门、仙游门。永淳二年(683年)，唐高宗和武则天再次光临嵩山，他们游幸奉天宫、少林寺，派人祭祀嵩岳、少室、箕山、具茨山等。弘道元年七月，唐高宗下诏当年十一月封禅嵩岳，并在嵩山极顶峻极峰上修建了圆径五丈、高九尺的登封坛，在城西少室山下万羊岗上修建了封祀坛。不久唐高宗车驾幸临嵩山奉天宫，准备来年封禅中岳，但不久就因身体不豫而下令罢封。大周女皇武则天对嵩山情有独钟，一后曾八次游历嵩山，前三次都是陪同唐高宗而来。公元696年，当她第四次驾临嵩山时，她登封中岳的大愿终于得偿。一向把嵩山作为精神寄托的武则天，在这里向世人展示了巾帼不让须眉的气概。圣历二年(699年)春，武则天第五次动身驾幸嵩山，这次她撰文并行书了大周升仙太子碑。圣历三年四月，武则天再幸嵩山三阳宫避暑，五月癸丑，因武则天疾病康复，遂宣布大赦天下，并改元久视，大宴群臣于石淙河，并命随从的太子李显、相王李旦、梁王武三思、内史狄仁杰等16名随臣各赋应制游石淙诗一首。
乾隆十五年(1750年)，乾隆皇帝游幸嵩山，并夜宿少林寺方丈室，当天晚上写下一首诗作：“明日瞻中岳，今宵宿少林，心有六禅静，寺据万山深，树古风留籁，地灵夕作阴，应教半岩雨，发我夜窗吟。”然后，他又游历了会善寺、嵩阳书院、中岳庙、峻极峰，临走时，乾隆还将越南贡品9只玉如意赐于中岳庙道士收藏保存，作为震山之国宝，专供每年祭祀之用。
